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<g> Verfahren zur Erkennung mindestens eines fingerformigen Objekts in einem ersten, handformigen Objekt 

durch einen Rechner 
(§?> Es wird ein fingerformiges Objekt (FO) klassWiziert, indem 
W in einem ersten. handformigen Objekt (HO) mindestens ein 

Rngerspitzenpunkt (FP) ermittelt wird. Ausgohend von dem 

Fingerspitzenpunkt (FP) wird aus « n «" c , h '^ , ' c h°" j*"*' 

kenverhaltnissen das fmgerformige Objekt (FO) ermittelt. 
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Beschreibung 



Die Erfindung betrifft die rechnergestutzte Erken- 
nung eines fingerformigen Objekts, welches eine vor- 
gebbare Farbe aufweist, durch einen Rechner. Die Er- 
kennung muB verlaBlich und schneil durehfuhrbar sem- 

Es ist ein Verf ahren zur Erkennung eines fegerfdrrai- 
gen Objekts bekannt [lj 

Dieses Verfahren weist einige erhebliche Nachtefle 



gewahlt, auf denen jeweils in etwa ein Lot bezuglich der 
Kontur errichtet wircL Auf jedes dieser Lote wird von 
dem Fingerspitzenpunkt jeweils ein weiteres Lot gefalit 
Fur beide Punkte wird nun ein Langenverhaltnis der 
Strecken des Lots, ausgehend von dem Fingerspitzen- 
punkt zu dem Schnittpunkt mit dem Lot durch den je- 
weiligen Punkt zu der Strecke des jeweiOgen Lots durch 
den jeweiligen Punkt von dem Punkt mindestens zu dem 
Schnittpunkt mit dem Lot durch den Fingerspitzen- 



Sassifizierenden fingerformigen Objekts nicht beruck- der vergbchen.und fur den Fall, daBsich das U«»v- 

Hoofer" ™" Men to ssb^ ~^>^rss 

*S2KKSta beaten Verf^ens in nwcngeBhn, die mindestens » weit eon 



nur sehr rechenintensiven Durchfuhrung der Erken- 
nung fuhrt, wofur bei Echtzeitaiiforderungen ledigtich 
sehr leistungsfahige Rechner, vor allem Workstations, 
geeignet sind. . 

E>araus resultiert ein weiterer Nachteil, der m den 
Kosten fur die Anordnung zur Durchfuhrung des be- 
kannten Verf ahrens (Workstation) zu sehen ist 

Weiterhin ist es aus [2] bekannt, das aus [1] bekannte 
Verfahren zur Steuerung eines virtuellen Touch Screens 



te Punkt der vorigen Iteration. Ist dies nicht mehr der 
Fail, wird der Bereich, der von dem am weitesten ent- 
fernten Punkt der letzten Iteration, dem Fingerspitz n- 
punkt, der Kontur und einem Symmetriepunkt, der sich 
20 auf der Kontur befindet und zu dem Punkt der letzten 
Iteration bezuglich des Lots durch den Fingerspitzen- 
punkt in etwa achsensymmetrisch ist 

Das Verfahren zeichnet sich vor allem durch seine 
Einf achheit aus, was dazu fuhrt, daB das Verfahren so- 
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doch alien Nachteilen des bekannten Verf ahrens und ist 
somit nur in emgeschranktem MaBe verlaBlich anwend- 
bar und auch nur mit erheblichem Kostenaufwand. 

Weiterhin sind verschiedene Verfahren zum Aufbau 
einer digitalen Farbtabelle mit Hilfe eines Rechners be- 
kannt, beispielsweise aus den Dokumenten[3] und [4J. 

Ferner ist ein Verfahren zur Konturverfolgung aus 
dem Dokument [5] bekannt 

Ein Verfahren zur Kalibrierung einer Kamera ist aus 
[6] bekannt 

Aus dem Dokument [8] ist ein Verfahren zur Finger- 
erkennung bekannt, bei dem fur einen Teil einer Kontur 
einer Hand f est vorgegebener Lange ermittelt wird, ob 
die beiden Endpunkte dieses Teils jeweils ausreichend 
nah beieinander liegen. Ist dies der Fall, so wird ferner 
untersucht, ob der Mittelpunkt des jeweiligen Teils als 
ein Punkt einer Fingerspitze des handfdrmigen Objekts 
klassifiziert werden kann oder nicht 

Ferner ist aus dem Dokument [9] ein System zur Ein- 
eabe von Information bekannt, bei dem ein Bereich von 
einer Kamera aufgenommen wird und Eingaben, die in 
einem vorgebbaren Bereich durch einen Benutzer erfol- 
gen, als Eingaben interpretiert werden. 

Der Erfindung Hegt das Problem zugrunde, ein finger- 
formiges Objekt mit Hilfe eines Rechners schneil, ein- 
fach und verlaBlich zu klassifizieren. 

Das Problem wird durch das Verfahren gemaB Pa- 
tentanspmch 1 geldst 

Es wird mindestens ein digitales Bild mit einer Kame- 



durchfuhrbar ist Damit wird auch eine erhebliche Ko- 
steneinsparung erzielt fur die zur Durchfuhrung des 
Verf ahrens bendtigte Anwendung. Weiterhin weist das 
Verfahren eine sehr hohe Robustheit und geringe Feh- 
30 leranf alligkeit aut Auch ist ein Vorteil des erflndungsge- 
maBen Verfahren in der Beriicksichtigung der vorgeb- 
baren Farbe des ersten Objekts zu sehen, wodurch die 
Ermittlung des ersten Objekts auch in ungunstigen Um- 
gebungen, beispielsweise einer Umgebung des ersten 
Objekts, in der ahnliche Farben wie die des ersten Ob- 
jekts vorkommen. Auch in einer solchen Umgebung ist 
das Verfahren zuverlassig. 

Vorteilhafte Weiterbildungen der Erfindung ergeben 
sich aus den abhangigen Anspruchen. 

Der Rechenzeitbedarf bei der Durchfuhrung des Ver- 
f ahrens mit Hilfe eines Rechners wird verringert, wenn 
der Fingerspitzenpunkt sich ergibt aus dem Punkt auf 
der Kontur, dessen Verbindung zwischen dem Punkt 
und dem Ref erenzpunkt RP maximal ist 

Weiterhin ist es vorteilhaft, fur die Vergleichspunkte 
auf der Kontur Syfiun e iri epunkt e zu ermitteln und *-iese 
bei der Ermittlung der Langenverhaltnisse zu beruck- 
sichtigen, indem die Strecke des Lots durch die Ver- 
gleichspunkte bis zu den Symmetriepunkten verlangert 
wird. Dadurch wird die VerlaBlichkeit einer korrekten 
Klassifikation des fingerfSrmigen Objekts weiter erbeb- 
lichverbessert 

Ferner ist es vorteilhaft, eine zweite Schranke vorzu- 
sehen und den ermittelten Bereich nur dann als das 
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S^es, handformiges Objekt wird unter Verwendung genyerhaltnis der in der letzten deration ermittelten 

einer diSen Farbtabelle und einem Konturverfol- Punktes groBer ist als die zweiten Schranke. 

Zl^SZL bSSmt In dem ersten. handformigen Weiterhin ist es in ~ ™"*U»t fiLSE. 

Obiekt wird ein zweites, handflachenformiges Objekt dungsgeroaBen Verfahrens vorteilhaft die Erkennung 

SrlTIn de" zweitS. handflachenformigen Objekt 60 des fmgerformigen Objek* ^^SS^SSrfiSt 

wird ein Referenzpunkt gewahlt Mindestens ein Fin- sierung ernes virtuellen Toudi Sweens 

gerspitzenpunkt wird bestimmt durch Untersuchung dung des erfindungsgemaBen Verfahrens ^ ^ver 

vonPuukten, die sich auf der Kontur befinden. Ist eine laBUcherer, mit einem Standard-PC reatewrbarer 

StreclT?on dem jeweiligen Punkt zu dem Referenz- Touch Screen realisiert als der aus dem Dokument [2] 

punkt langer als eine vorgebbare Schranke, so wird der 65 bekannt Touchscreen. 
Punkt als Fingerspitzenpunkt klassifiziert. Fur jeden 
Fingerspitzenpunkt wird folgendes iterauves Verfahren 
durchgefuhrt. Es werden zwei Punkte auf der Kontur 



Durch weiter n Einsatz von Sprach rkennungsver- 
fahren ist die zusatzliche Steuerung des virtuellen 
Touch Screens mit Hilfe eingesprochener Sprache mog- 
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fich. Dies eroffnet ein weiteres Anwendungsspektrum bindungen zwischen der prozentual angegebenen Men- 

als die lediglich manuelle Steuerung des virtuellen geanderer Konturpunkte und dem ReferenzpiuiktRP. 

Touch Screens. In einer Weiterbildung des Verfahrens ist es vorgese- 

EinAusfuhrungsbeispielist in den Figuren dargestellt . hen, denjenigen Konturpunkt als Fmgerspitzenpunkt 

und wird irn weiteren anhand der Figuren naher erlau- FP zu kJassifizieren, dessen Streckenlange der Verbin- 

tert dung des jeweiligen Konturpunkts zu dem Referenz- 

Eszeigen punkt RP maximal ist 

Fig. 1 die einzelnen Verfahrensschritte des erfin- Ist der mindestens eine Fingerspitzenpunkt FP be- 

dungsgemaBen Verfahrens in Form eines Ablaufdia- stimmtso wird fur jeden Fingerspitzenpunkt FPfoIgen- 

gramms; des iteratives Verf ahren durchgefiihrt 107. 

Fig. 2 eineSkizze eines mit dem Verfahreniintersuch- Ausgehend von dem jeweiligen Fingerspitzenpunkt 

ten handformigen Objekts; FP wird ein erster Vergieichspunkt VP1, der sich auf der 

Fig. 3 eine Anordnung eines virtuellen Touch Sere- Kontur KO befindet, ausgewahlt 108. Auf der Kontur 

ens, bei dem das erfindungsgemaBe Verfahren einge- KO wird in etwa ein erstes Lot LI errichtet 109, welches 

setztwird den ersten Vergieichspunkt VP1 enthalt Auf das erste 

Es wird in einem ersten Schritt 101 mindestens em Lot LI wird, ausgehend von dem Fingerspitzenpunkt 

Bild, welches ein erstes, handfonniges Objekt HO auf- FP, in etwa ein zweites Lot L2 gefallt 1 10. 

weist, von einer Kamera K aufgenommen (vgL Fig. 1). Es wird ein Quotient der Streckenlange des zweiten 

Es muB sich hierbei nicht urn ein einziges Bild handeln, Lots L2 zwischen dem Fingerspitzenpunkt FP und dem 

sondern es ist ebenso vorgesehen, daB eine Folge von Schnittpunkt des ersten Lots LI mit dem zweiten Lot L2 

Bildern von der Kamera K aufgenommen wird. und des ersten Lots LI mindestens zwischen dem ersten 

Das mindestens eine Bild wird in einem Rechner R, Vergieichspunkt VP1 und dem Schnittpunkt des ersten 

mit dem das Verfahren notwendigerweise diirchgefuhrt Lots LI mit dem zweiten Lot L2 gebildet 1 1 I. Der Quo- 

wird,digitalisiertB. tient wird als ein erstes Streckenverhaltnis bezeichneL 

In dem digitalisierten Bild B wird in einem weiteren In einem weiteren Schritt 1 12 wird das erste Strecken- 

Schritt 102 das erste, handfdrmige Objekt HO ermitteit verhaltnis gespeichert. 

Dies geschieht unter Verwendung einer zuvor in einer Ferner wird, ausgehend von dem jeweiligen Finger- 
fur den Fachmann bekannter Weise aufgebauten Farb- spitzenpunkt FP, ein zweiter Vergieichspunkt VP2, der 
tabelle. Ferner wird zur Ermittlung des ersten, handfdr- sich ebenfalls auf der Kontur KO befindet, ausgewahlt 
migen Objekts HO beispielsweise ein aus dem Doku- 30 113. Auf der Kontur KO wird in etwa ein drittes Lot 13 
ment [5] bekanntes Konturverfolgungsverfahren ver- errichtet 114, welches den zweiten Vergieichspunkt VP2 
wendet enthalt Auf das dritte Lot L3 wird, ausgehend von dem 
Ergebnis dieser Ermittlung ist das erste, handfdrmige Fingerspitzenpunkt FP, in etwa ein viertes Lot IA gefallt 
Objekt HO, welches durch eine Kontur KO begrenzt 115. 

wird In dem ersten, handfdrmigen Objekt HO wird in . Es wird ein Quotient der Streckenlange des vierten 

einem weiteren Schritt 103 ein zweites, handflachenfor- Lots IA zwischen dem Fingerspitzenpunkt FP und dem 

miges Objekt HFO bestimmt Schnittpunkt des dritten Lots L3 mit dem vierten Lot L4 

Dies geschieht beispielsweise dadurch, daB der und des dritten Lots L3 mindestens zwischen dem zwei- 

Schwerpunkt des handformigen Objekts HO oder des ten Vergieichspunkt VP2 und dem Schnittpunkt des 

handflachenformigen Objekts HFO ermitteit wird. dritten Lots L3 mit dem vierten Lot L4 gebildet 1 16. Der 

Eine Alternative zur oben beschriebenen Vorgehens- Quotient wird als ein zweites Streckenverhaltnis be- 

weise ist in der Verwendung des sogenannten Region zeichnet In einem weiteren Schritt 117 wird das erste 

Shrinking Algorithmus zu sehen. Streckenverhaltnis gespeichert 

Ist das zweite, hanuRachenf ormige Objekt bestimmt, Es ist vorteilhaf t, wenn jeweils der zv/eite Vergleichs- 
wird innerhalb des zweiten Objekts ein Referenzpunkt 5 punkt VP2 derart ausgewahlt wird, daB die Streckenlan- 

RPgewahlt 104. ge einer Strecke zwischen dem zweiten Vergleichs- 

Ausgehend von dem Referenzpunkt RP werden punkt VP2 und dem Fingerspitzenpunkt FP groBer ist 

Streckenlangen zu einer beliebigen Anzahl von Kontur- als die Streckenlange einer Strecke zwischen dem er- 

punkten bestimmt 105* Unter einem Konturpunkt ist ein sten Vergieichspunkt VP1 und dem Fingerspitzenpunkt 

beliebiger Punkt zu verstehen, der sich auf der ermittel- FP. 

ten Kontur KO befindet (vgL Fig. 2). In einer Weiterbildung des Verfahrens ist es vorteil- 

Diejenigen Konturpunkte, deren Streckenlange der hafterwelse zur Vereinfachung des Verfahrens vorgese- 

Verbindung des jeweiligen Konturpunkts zu dem Ref e- hen, jeweils das erste Lot LI und das dritte Lot L3 uber 

renzpunkt RP grdBer sind als eine vorgebbare erste die Schnittpunkte mit dem zweiten Lot L2 bzw. dem 
Schranke und vorzugsweise ein lokal es Maximum auf 55 vierten Lot L4 zu verlangern und jeweils einen weiteren 

der Kontur KO bezuglich der Streckenlangen zwischen Schnittpunkt mit der Kontur KO zu bilden. Diese weite- 

den Konturpunkten und dem Referenzpunkt RP dar- ren Schnittpunkte mit der Kontur KO werden als Sym- 

stellen, werden als Fuigerspitzenpunkte FP klassifiziert metriepunkte bezeichnet, da die Symmetriepunkte in 

106. Somit wird mindestens ein Fingerspitzenpunkt FP etwa achsensymm trisch zu dem zweiten Lot L2 bzw. 
bestimmt Die vorgebbare erste Schranke kann bei- 60 dem vierten Lot L4 sind bezuglich dem ersten Ver- 

spielsweise ein vorgebbarer absoluter Wert sein oder gleichspunkt VP1 bzw. dem zweiten Vergieichspunkt 

auch ein relativer Schwellwert, d h. erne Prozentanga- VP2. Das erste Streckenverhaltnis bzw. das zweite 

be, wieviel Prozent der untersuchten Konturpunkte ab Streckenverhaltnis ergibt sich dann jeweils aus dem 

Fingerspitzenpunkt FP klassifiziert werden solL Fur den Quotienten der Streckenlange des zweiten Lot L2 bzw. 

letzten Fall wird dann ein Konturpunkt als Fingerspit- des vierten Lots L4 zwischen dem Fingerspitzenpunkt 

zenpunkt FP klassifiziert, wenn die Streckenlange der FP und dem Schnittpunkt des ersten Lots LI bzw. des 

Verbindung zwischen dem Konturpunkt und dem Ref e- dritten Lots L3 mit dem zweiten Lot L2 bzw. d m vier- 

renzpunkt RP grdBer ist als die Streckenlangen der Ver- ten Lot L4 und des dritten Lots L3 zwischen dem ersten 
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chert 112,1 17 worden, wild untersucht, ob der Wert des bau: 

zweiten Streckenverhaltnisses groBer ist als der Wert 

des ersten Streckenverhaltnisses. 10 /J 

1st der Wert des zweiten Streckenverhaltnisses gro- ( ]_ ) a = — — — — — 

Ber als der Wert des ersten Streckenverhaltnisses, so R+G+B 

wird eine neue Iteration 107 der Verfahrensschritte 108 G 

bis 1 17 durchgefflhrt 1 18, wobei es vorteilhaft ist, daB Kt) R+G+B 

der erste Vergleichspunkt VP1 der nachsten Iteration « «.-r v-r 

mindestens so weit von dem Fingerspitzenpunkt FP em- •„.„„„ 

fernt ist wie der zweiten Vergleichspunkt VP2 der von- Hierbei bezeichnen 

8 tS? Wert des zweiten Streckenverhaltnisses je- - R den Anteil der Farbe Rot an der jeweQigen 

* ^denAnteilderParbeGrananderieweiHgen 

je^n^ ?fden Anteader FarheB.au an der ieweUigen 

dasWerf5rmigeObiektFOzuklassifizieren.wenndas mensionalen Farbraum. 

Objekto HO verwenoet^ £jL _ ebadet wer . dreidimensionalen Farbraum eindeutig em Punkt in 

■m weiteren beschneben. interaktive Weise nutzer markierten Bildbereich wird em erster Farbmit- 

chert und zur Weiterverarbeitung zur VerfQgung ge- » tte ^^ d ^ Mbetavorigenbeschriebe nenWei. 

j^otsssoss^t SSSSSSSSSaSS 

•sssar — *- - « - „ -g-A. 5 i£jr-K I s£3to 

fiblicherweis dem dreidimensionalen RGB (Rot- Bigkeiten, wie z. B. die Augen des Benutzers. die sicn 
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auch in dem markierten Bildbereich befinden, auszuglei- 

chen. . . ■ _ , 

Die GroBe von n, also die Angabe, wieviel % der sich 
in dem markierten Bildbereich befindenden Farbwerte 
unberucksichtigt bleiben sollen, ist abhangig sowohi von 
dem Objekt anhand dessen der zweite Farbmittelwert 
gebildet werden soli als auch von der benotigten Ge- 
nauigkeit des zweiten Farbmittelwerts und der zur Ver- 
ffigung stehenden Rechenleistung. Aus diesem Grand 
muB die GroBe n jeweils an die entsprechende Situation 
angepaBt werden. Die GrdBe von n kann vorzugsweise 
in einem Bereich von 5—50 liegen. Das erfindungsge- 
maBe Verfahren ist nicht beschrankt auf den zweiten 
Farbmittelwert Mit derselben Vorgehensweise konnen 
mehrere Farbmittelwerte, unter Verwendung von un- 
terschiedlichen Werten fur n, gebildet werden. Eine hd- 
here Anzahl von Farbmittelwerten erhoht die Qualitat 
der spater folgenden Klassifikatioa Ohne Einschran- 
kung der Allgemeingultigkeit wird im folgenden nur der 
zweite Farbmittelwert betrachtet 

AnschlieBend wird eine beliebige Anzahl von Nega- 
tivfarbwerten ausgewahlt Unter Negativfarbwerten 
sind in diesem Zusammenhang Farbwerte zu verstehen, 
di nicht der vorgegebenen Farbe entsprechen. Vor- 
zugsweise wird mindestens ein die Farbe WeiB repra- 
sentierender WeiBpunkt in dem zweidimensionalen 
Raum als ein Negativfarbwert verwendet Eine erhdhte 
Anzahl von Negativfarbwerten verbessert die im weite- 
ren beschriebene Klassifikation aller Farben in eine 
Farbe, die als der vorgegebenen Farbe zugehorig, cL h. 
als genugend ahnlich, und in eine der vorgegebenen 
Farbe nicht ahnlichen Farbe. 

Sowohi urn den zweiten Farbmittelwert als auch urn 
jeden den jeweiligen Negativfarbwert reprasentieren- 
den Negativfarbpunkt z. B. um den WeiBpunkt, wird 
eine runde, z. B. kreisformige oder elliptische Region 
gebildet Diese Regionen werden im folgenden als eine 
Mittelwertregion fur den zweiten Farbmittelwert und 
ais Negativf arbregionen fur die Regionen um die Nega- 
tivf arbpunkte bezeichnet 

Die Regionen kdnnen beliebige GroBe aufweisen, es 
ist also auch moglich, daB sich Regionen uberlappen 
oder eine Region vollstandig eine andere Region um- 
schiieBt 

Fur jeden von der Computereinheit darstellbaren, in 
den zweidimensionalen Farbraum transformierten 
Farbwert, der durch den jeweiligen Farbpunkt repra- 
sentiert wird, wird eine Klassifikation durchgefuhrt, ob 
der jeweilige Farbpunkt als dem vorgegebenen Farb- 
punkt, der den zweiten Farbmittelwert reprasentiert ge- 
nugend ahnlich eingeordnet wird oder ob der jeweilige 
Farbpunkt als dem vorgegebenen Farbpunkt nicht ahn- 
lich klassifiziert wird. 

Die Klassifikation wird in der Weise durchgefuhrt, 
daB fur jeden von der Computereinheit darstellbaren 
Farbpunkt ein Lot gefallt wird auf jede Verbindungsge- 
rade des den zweiten Farbmittelwert reprasentierenden 
vorgegebenen Farbpunkts mit jedem Negativfarb- 
punkt Dadurch entstehen genau so viele Lotf uBpunkte, 
darunter ist der Schnittpunkt des jeweiligen Lots mit 
der entsprechenden Verbindungsgerade zu verstehen, 
wie Negativf arbpunkte. 

Fur jeden LotfuBpunkt wird ein erster Abstand be- 
rechnet von dem LotfuBpunkt zu dem den zweiten 
Farbmittelwert reprasentierenden vorgegebenen Farb- 
punkt Der erste Abstand wird mit einem zweiten Ab- 
stand verglichen, der den Abstand des entsprechenden 
LotfuBpunktes zu dem jeweiligen Negativfarbpunkt 



darstellt 

Ein Farbpunkt wird dann als dem zweiten Farbmittel- 
wert reprasentierenden vorgegebenen Farbpunkt genu- 
gend ahnlich klassifiziert, wenn fur jeden LotfuBpunkt 
5 des Farbpunkts der erste Abstand geringer ist als der 
zweite Abstand und jeder LotfuBpunkt in der Mittel- 
wertregion liegt 

Das binare Ergebnis wird in der Farbtabelle gespei- 
chert, die nach AbschluB des im vorigen beschriebenen 
10 Verfahrens fur jeden Farbpunkt in dem zweidimensio- 
nalen Farbraum, also fur jede von der Computereinheit 
darstellbaren Farbe einen binaren Eintrag enth&lt 

Die Farbtabelle enthalt fur jeden Farbwert, der je- 
weils einen Eintrag in der Farbtabelle eindeutig adres- 
15 siert, die binare Information, ob der Farbpunkt als der 
vorgegebenen Farbe ahnlich klassifiziert wurde oder 
nicht 

Der Aufbau der Farbtabelle nach dem im vorigen 
beschriebenen Verfahren ermdglicht eine Echtzeitreali- 
20 sierung verschiedener Verwendungen des erfindungs- 
gemaBen Verfahrens, da fur einen Farbwert nur ein bi- 
narer Wert ausgelesen werden muB, damit bekannt ist, 
ob der Farbwert als der vorgegebenen Farbe genugend 
ahnlich klassifiziert wurde. Details fiber den Aufbau der 
25 Farbtabelle, wie er oben beschrieben wurde, sind in dem 
Dokument [3] zu finden. 

Weitere Verfahren zum Aufbau einer Farbtabelle in 
einer Computereinheit sind dem Fachmann bekannt, 
beispielsweise aus dem Dokument [4} 
30 In einer Weiterbildung des Verfahrens ist es vorteil- 
haft, den Ref erenzpunkt RP nicht auszuwahlen, sondern 
den Referenzpunkt RP zu bestimmen, beispielsweise 
nach dem Verfahren, welches in dem Dokument [7] fur 
markiertes Objekt angewendet wird Dieses bekannte 
35 Verfahren wird in dem Verfahren mit der Anpassung 
eingesetrt, daB das markierte Objekt durch das ermittel- 
te erste Objekt HO gegeben ist und der Referenzpunkt 
RP sich aus dem nach dem bekannten Verfahren ermit- 
telten Schwerpunkt des ersten Objekts HO ergibt Wei- 
40 tere Verfahren zur Bestimmung der raumlichen Lage 
eines Objekts sind dem Fachmann bekannt und ohne 
weiteres in dem Verfahren einsetzbar. 

Es ist in einer Weiterbildung des Verfahrens vorteil- 
haft, das mindestens eine ermittelte fingerformige Ob- 
45 jekt FO beispielsweise in einem virtuellen Touch Screen 
zu verwenden, der in Fig. 3 dargestellt ist 

In Fig. 3 ist das virtueDe Touch Screen dargestellt, 
welches mindestens folgende Komponenten aufweist: 
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— einen Projektor P, 

— die Kamera K, 

— den Rechner R, und 

— eine Bedienoberflache BOF. 
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Von dem Projektor P wird eine virtuelle Eingabeein- 
faeit auf die Bedienoberflache BOF projiziert Unter ei- 
ner virtuellen Eingabeeinheit ist beispielsweise die En- 
gabe einer Tastatur oder Tastenanordnung eines Tele- 
fonapparats zu verstehen. 

Von der Kamera K wird die Bedienoberflache BOF 
aufgenommenu In dem Rechner werden zum einen das 
oben beschriebene Verfahren sowie die im weiteren be- 
schriebenen Schritte durchgefuhrt 
Zu Beginn des Einsatzes des virtuellen Touch Screens 
65 ist es erforderlich, daB der Projektor P und die Kamera 
K kalibriert werden. Darunter ist zu verstehen, daB es 
nach der Kalibrierung moglich ist zweidimensionale 
Bildkoordinaten eines von dem Projektor P projizierten 
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Bildes eindeutig zweidimensionalen Bildkoordinaten ei- 
nes von der Kamera K auf gen mmenen Bildes zuzuord- 
nen. Hierzu kann beispielsweise das aus dem Dokuraent 
[2] bekannte Verf ahren verwendet werden. 

Von dem Projector P wird die virtuelle Eingabeein- 
heit auf die Bedienoberflache BOF projiziert 

Das mindestens eine fingerfdrmige Objekt FO wird 
von dem Benutzer B in einen Bereich gebracht, der von 
der Kamera K aufgenommen wird und der sich uber der 
virtuellen Eingabeeinheit auf der Bedienoberflache 
BOFbeFmdet 

Das fingerfdrmige Objekt FO wird von der Kamera 
K aufgenommen, von dem Rechner R in dem aufgenom- 
menen Bild erkannt und es wird die orttiche Position des 
fingerformigen Objekts FO relativ zu der virtuellen Ein- 
gabeeinheit, d-h. den einzelnen virtuellen Elementen, 
also den virtuellen Tasten der virtuellen Eingabeeinheit, 
bestimmt. 

Weiterhin wird jeweils eine Zeit ennittelt, in der das 
fingerfdrmige Objekt FO jeweils in etwa sich in Ruhe 
befindet, d h. nicht bewegt wird. 1st die Zeit groBer als 
eine vorgebbare Zeit, so wird eine Eingabe in die virtu- 
elle Eingabeeinheit klassifiziert, d h. beispielsweise ein 
Tastendruck auf die virtuelle Taste, fiber der sich das 
fingerfdrmige Objekt FO befindet 

In einer Weiterbildung ist es vorteilhaft, die vorgeb- 
bare Zeit variabel zu gestalten, abhangig von der Bewe- 
gung des fingerformigen Objekts FO. 

Ferner ist es in einer Weiterbildung vorgesehen, vor- 
gebbaren Fonnen des ersten Objekts HO semantische 
Bezuge zuzuordnen, die als sogenannte Gestikerken- 
nung in dem Rechner R berucksichtigt wird Anhand der 
vorgebbaren Gesten ist es vorgesehen, den Gesten Ak- 
tionen zuzuordnen, die von dem Rechner R bei Erken- 
nen der jeweiligen Geste durchgefuhrt werden. " 

Ferner ist es in einer Weiterbildung vorgesehen, das 
virtuelle Touch Screen zusatzlich durch Sprache steuer- 
bar zu macheiu 

Hierfur zusatzlich ist ein Mittei zur Spracherkennung 
in dem Rechner R vorgesehen* 

Vorteilhafte Verwendungen des virtuellen Touch 
Screens sind beispielsweise in Ausstellungen oder 6f- 
fentlichen Terminals zu sehen, da das virtuelle Touch 
Screen vandalismus-sicher ausgestaltet werden kann. 

Weiterhin ist eine vorteilhafte Verwendung beispiels- 
weise in der Medizin, vor aiiem bei OperationeG zu 
sehen. Der Benutzer, in diesem Fall beispielsweise der 
operierende Arzt kann dann eine Flache neben dem 
Operationsfeld als virtuelles Touch Screen verwenden. 

In diesem Dokument wurden folgende Veroffentli- 
chungen zitiert: 

[1] P. Wellner, Interactive desktop system, Europaische 
Patentanmeldung 0568 161 Al; 
[2] P. Wellner, The Digital Desk Calculator: Tactile Ma- 
nipulation on a Desk Top Display, Proceedings of 
UIST'91, User Interface Software and Technology, Hil- 
ton Head, New York, USA, S. 1—7, 11. bis 13. Novem- 
ber 1991; 

[3] C Maggioni, Verf ahren zum Aufbau einer Farbtabel- 
le in einer Computereinheit zur Klassifikation von Bild- 
punkten in einem Bild, Amtliches Kennzeichen 
P 19516664.7; 

[4] H. Ernst, MaschineOes Sehen, Europa Fachpresse 
Verlag GmbH, Munchen,S. 121 bis 125, 1990; 
[5] T. Pavlidis, Algorithms for Graphics and Image Pro- 
cessing, Springer Verlag, ISBN 3-540-1 1338-X, Berlin, S. 
317-401,1982; 

[6] R. Tsai, A Versatile Camera Calibration Technique 
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for High-Accuracy 3D Machine Vision Metrology 
Using Off-the-Shelf TV Cameras and Lenses, IEEE 
Journal of Robotics and Automation, VoL RA-3, No. 4, S. 
323 344, August 1987; 

[7] C Maggioni und B. Wirtz, A Novel Device for Using 
the Hand as a Human Computer Interface, PCT/- 
DE 94/00 893; 
[8] US 48 43 568 A; 
[9] EPOS 54 492 Al. 

Patentanspriiche 

L Verf ahren zur Erkennung mindestens eines fin- 
gerformigen Objekts in einem ersten, handformi- 
gen Objekt durch einen Rechner, 

— bei dem mindestens ein das erste, handfor- 
mige Objekt aufweisendes digitales Bild von 
einer Kamera aufgenommen wird, 

— bei dem das erste, handf ormige Objekt vor- 
gebbarer Farbe ermittelt wird unter Verwen- 
dung einer digitalen Farbtabelle und einem 
Konturverfolgungsverfahren, 

— bei dem aus der ermittelten Kontur ein 
zweites, handflachenformiges Objekt be- 
stimmt wird, 

_ bei dem innerhalb des zweiten, handfla- 
chenformigen Objekts ein Referenzpunkt ge- 
wahlt wird, 

— bei dem Streckenlangen einer beliebigen 
Anzahl von Konturpunkten jeweils zu dem 
Referenzpunkt bestimmt werden, 

— bei dem mindestens ein Fingerspitzenpimkt 
sich ergibt aus den Konturpunkten, deren 
Streckenlangen zu dem Referenzpunkt groBer 
sind als eine vorgebbare erste Schranke, 

— bei dem fur den Fingerspitzenpimkt iterativ 
die f olgenden Schritte durchgefuhrt werden: 

a) es wird ein erster Vergleichspunkt, der sich 
auf der Kontur befindet, ausgewahlt, 

b) es wird in etwa ein erstes Lot auf dem rsten 
Vergleichspunkt errichtet, 

c) es wird in etwa ein zweites Lot von dem 
Fingerspitzenpunkt auf das erste Lot gefallt, 

d) es wird ein erstes Streckenverhaltnis rrnit- 
telt aus der Lange der Strecke auf dem zweiten 
Lot von dem Fingerspitzenpunkt zu dera 
Schnittpunkt mit dem ersten Lot und minde- 
stens der Lange der Strecke des ersten Lots 
von dem ersten Vergleichspunkt zu dem 
Schnittpunkt mit dem zweiten Lot, 

e) das erste Streckenverhaltnis wird gespei- 
chert, 

f) es wird ein zweher Vergleichspunkt, d rsich 
auf der Kontur befindet, ausgewahlt, wobei 
der zweite Vergleichspunkt weiter von dem 
Fingerspitzenpunkt entf enit liegt als der erste 
Vergleichspunkt, 

g) es wird in etwa ein drittes Lot auf dem zwei- 
ten Vergleichspunkt errichtet, 

h) es wird in etwa ein viertes Lot von dem 
Fingerspitzenpunkt auf das dritte Lot gefallt, 

i) es wird ein zweites Streck nverhaltnis ermit- 
telt aus der Lange der Strecke auf dem vierten 
Lot von dem Fingerspitzenpunkt zu dem 
Schnittpunkt mit dem dritten Lot und minde- 
stens der Lange der Strecke des dritten Lots 
von dem zweiten Vergleichspunkt zu dem 
Schnittpunkt mit dem vierten Lot, 
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j) das zweite Streckenverhaltnis wird gespei- 
chert, 

— bei dem fur den Fall, daB das erste Strek- 
kenverhaltnis kleiner ist als das zweite Strek- 
kenverhaltnis, die Schritte a) bis j) in einer wei- 
teren Iteration durchgefuhrt werden, wobei 
der erste Vergleichspunkt der weiteren Itera- 
tion mindestens so weit von dem Fingerspit- 
zenpunkt entfernt ist wie der zweite Ver- 
gleichspunkt der vorigen Iteration, und 1 

— bei dem sonst ein Bereich, der von dem 
zweiten Vergleichspunkt, der Kontur, dem 
Fingerspitzenpunkt sowie einem bezOglich des 
vierten Lots zu dem zweiten Vergleichspunkt 
in etwa achsensymmetrischen Symmetric- 
punkt begrenzt wird, als das fingerformige Ob- 
jekt klassifiziert wird. 

2. Verfahren nach Anspruch 1, bei dem der Finger- 
spitzenpunkt sich ergibt aus dem Konturpunkt, ^ 
dessen Streekenlange zu dem Referenzpunkt maxi- 
mal ist 

3. Verfahren nach Anspruch 1 oder 2, bei dem fur 
den ersten Vergleichspunkt und fur den zweiten 
Vergleichspunkt jeweils ein Symmetriepunkt er- 
mittelt wird, der jeweils in etwa achsensymmetrisch 
zu dem ersten Vergleichspunkt oder dem zweiten 
Vergleichspunkt ist bezuglich dem zweiten Lot 
bzw. dem vierten Lot, wobei der erste Vergleichs- 
punkt bzw. der zweite Vergleichspunkt auf der ^ 
Kontur Uegt 

4. Verfahren nach Anspruch 3, bei dem sich das 
erste Streckenverhaltnis und das zweite Strecken- 
verhaltnis sich ergeben aus der Lange der Strecke 
auf dem zweiten Lot bzw. auf dem vierten Lot von ^ 
dem Fingerspitzenpunkt zu dem Schnittpunkt mit 
dem ersten Lot bzw. dem dritten Lot und der Lange 
der Strecke auf dem ersten Lot bzw. auf dem drit- 
ten Lot von dem ersten Vergleichspunkt bzw. von 
dem zweiten Vergleichspunkt zu dem jeweiligen 
Symmetriepunkt 

5. Verfahren nach einem der Anspruche 1 bis 4, bei 
dem der Bereich nur fur den Fall als das fingerfor- 
mige Objekt klassifiziert wird, wenn das zweite 
Streckenverhaltnis groBer ist als erne vorgebbare ^ 
zweite Schranke. 

6. Verfahren zur Bedienung eines virtuellen Touch 
Screens unter Verwendung des nach einem der An- 
spruche 1 bis 5 klassifizierten fingerformigen Ob- 
jekts. 

7. Verfahren nach Anspruch 6, 

— bei dem der virtuelle Touch Screen von 
einem Projektor auf eine Bedienoberflache 
projiziert wird, 

— bei dem die ortliche Position des fingerfor- ^ 
migen Objekts in Bezug auf den virtuellen 
Touch Screen bestimmt wird, 

— bei dem eine Eingabe des fingerformigen 
Objekts mit einem Element des virtuellen 
Touch Screens klassifiziert wird, wenn das fin- ^ 
gerfdrmige Objekt eine vorgebbare Zeit fiber 
dem Element des virtuellen Touch Screens 
ruht 

8. Verfahren nach Anspruch 7, bei dem die vorgeb- 
bare Zeit variabel ist, abhangig von der Bewegung 
des fingerformigen Objekts vor dem Ruhen. 

9. Verfahr n nach einem der Anspruche 6 bis 8, 

— bei dem vorgebbaren Formen des handfor- 
migen ersten Objekts semantische Bezuge zu- 
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geordnet werden, 

— bei dem anhand der semantischen Bezuge in 
dem Rechner vorgebbare Aktionen durchge- 
fuhrt werden. 

10. Verfahren nach einem der Anspruche 1 bis 9, bei 
dem zusatzlich zur Bedienung des virtuellen Touch 
Screens Verfahren zur Spracherkennung von Wor- 
ten, die von dem Benutzer des virtuellen Touch 
Screens gesprochen werden, verwendet werden. 

11. Verfahren nach einem der Anspruche 1 bis 10, 
bei dem sich der Symmetriepunkt ergibt aus dem 
Schnittpunkt des dritten Lots und der Kontur. 
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